Mục Chi tự nhận là hậu duệ của Tề Điệu Huệ vương Lưu Phì nhà Hán, nguyên quán là huyện Cử, quận Đông Hoàn[3], tổ tiên chạy sang miền nam trong loạn Vĩnh Gia (311). Mục Chi từ nhỏ ham học, đọc khắp sách vở, được người Tế Dương là Giang Ngai biết tài; Ngai được làm Kiến vũ tướng quân, Lang Da nội sử, lấy ông làm Phủ chủ bộ.